许世友脾气直，是众所周知的，然而这也造成了很多谣言。
流传最广的就是解放战争时期，许世友不服粟裕的指挥。
许华山非常肯定地说：“这根本就是子虚乌有的事情，我父亲十分尊敬粟裕将军，与他的关系也非常好。”
其实，谣言源自1947年，任华东野战军9纵司令员许世友曾在孟良固战役前对粟裕耍过脾气。

1947年3月，国民党军队发动重点进攻，集中三个兵团由江苏北上，进犯山东沂蒙山区，寻歼华东野战军主力。
根据华东野战军司令部的统一部署，各纵队避敌锋芒，大胆插进沂蒙山区。
这一带方圆几十里，山连山、峰连峰，山势险峻，各部队在崇山峻岭中回旋。
结果，敌人不仅始终摸不到华野主力的踪影，而且自己也在回旋中转来转去转出不少思想问题。
因为天天爬山，转山头，忽南忽北、时东时西。大仗没有打，小仗打不上，加上贫瘠的沂蒙山区骤然集中了华野十几万兵马，部队没吃没喝，饿得前胸贴后背，时间越长，生活的困难越大。
许多指挥员包括许世友在内的一些人，渐渐对“上头”的意图产生了怀疑。

一天，9 纵刚走了几十里路，就接到华野司令部电话，命令部队原地返回。
许世友一听就火了，夺过参谋手中的话筒，顾不得问对方是谁，大吼了一声：“你们只晓得在地图上一卡卡的，当兵的是两条腿！”吼完了，话筒也被他扔掉了。
谁知，打电话的就是时任华东野战军副司令员粟裕，负责整个战役行动的具体指挥和协调。
据华野司令部在场的人回忆，当时粟裕的脸气得通红，没有说一句话，直瞅着手中的话筒，愣了好一会儿神。
许华山的这段回顾是符合历史事实的。
其实，许世友在电话里说的是“你们”，也就是包括了司令员陈毅和负责战役指挥的副司令员粟裕，而不是单独针对粟裕。

这在部队也很正常！红军时期林彪、彭德怀都发过毛泽东的牢骚。而彭德怀甚至被部下在电话里骂过。
另外，原始档案中的《孟良固战役阵中日志》记载，负责战役指挥的粟裕不断给许世友和9纵发电报指令，熟知“三大纪律八项注意”的许世友从未抗命，而是不折不扣地执行，最终取得了孟良固战役大捷。
许世友一直都是粟裕信赖和倚仗的战将。
新中国成立后，粟裕每到南京或广州，担任南京或广州军区司令员的许世友必定恭敬接待。
有段日子，粟裕的老母亲因行动不便，又不适应北京气候，只得留在南京养老。
许世友知悉后常予以照顾。